海林市历史悠久。旧石器时代晚期，这里就有人类生息繁衍，在辖区内发现了很多古人类居住遗址、旧城遗址、墓葬和历史文物。居住在这里的先民，商周时代称为“肃慎”，汉晋时代称为“挹娄”，南北朝及隋朝时代称为“勿吉”，唐代则称为“革末革曷”。
唐代初年，革末革曷人建立了渤海国，海林地区则隶属于上京龙泉府贡珍县。辽代初归东丹国，后归博罗满达勒部生真南境。金代初期属东京，后归会宁府南境，再划归率宾府。元初属南京万户府，后归呼尔哈军民户府。明代归奴尔干都司统辖，万历年间称东海窝集部宁古塔路。
明万历三十八年（1610年），努尔哈赤就派大将额亦都统一了宁古塔路并在这里驻军，做为继续统一东海诸部的基地。清顺治十年设宁古塔昂邦章京，康熙元年（1662年）改为镇守宁古塔等处将军，驻地即为现海林市长汀镇古城村。雍正四年（1726年）归泰宁县，光绪二十九年（1903年）属绥芬厅，宣统元年（1909）年归宁安府。此后，直到抗日战争胜利，海林地区一直归宁安县（府）管辖。
1946年8月15日，新海县建立，大体管辖现海林市的西南部地区，县政府设在海林镇，隶属于牡丹江省。1948年9月，新海县与五林县合并，从两县中分别取“海、”“林”二字，称为海林县。这个名称恰与“海林镇”相合。县政府设在牡丹江市，管辖范围包括现海林市全境、牡丹江市郊区一部分和现林口县西部，共十个区，自海林以西称“西五区”，自柴河以东称“东五区”，属于松江省。
1954年归黑龙江省管辖。1956年3月，撤销海林县建制，辖区分别划归牡丹江市、宁安县和林口县。1962年10月，海林县恢复建制，县政府设在海林镇，辖区即现在的范围，隶属于牡丹江地区行政公署。1983年10月，牡丹江行署撤销，实行市辖县的体制，海林县即隶属于牡丹江市。1992年7月28日，撤销海林县，设置海林市，仍隶属于牡丹江市。
